我们从任务特定的BERT基教师模型执行知识蒸馏（KD）基准到各种学生模型：Bilstm，CNN，Bert-Tiny，Bert-Mini和Bert-small。我们的实验涉及在两个任务中分组的12个数据集：印度尼西亚语言中的文本分类和序列标记。我们还比较蒸馏的各个方面，包括使用Word Embeddings和未标记的数据增强的使用。我们的实验表明，尽管基于变压器的模型的普及程度不断上升，但是使用Bilstm和CNN学生模型，与修剪的BERT模型相比，使用Bilstm和CNN学生模型提供了性能和计算资源（CPU，RAM和存储）之间的最佳权衡。我们进一步提出了一些快速胜利，通过涉及涉及丢失功能，Word Embeddings和未标记的数据准备的简单选择的高效KD培训机制来生产小型NLP模型。
translated by 谷歌翻译
在本文中，我们旨在改善干扰限制的无线网络中超级可靠性和低延迟通信（URLLC）的服务质量（QoS）。为了在通道连贯性时间内获得时间多样性，我们首先提出了一个随机重复方案，该方案随机将干扰能力随机。然后，我们优化了每个数据包的保留插槽数量和重复数量，以最大程度地减少QoS违规概率，该概率定义为无法实现URLLC的用户百分比。我们构建了一个级联的随机边缘图神经网络（REGNN），以表示重复方案并开发一种无模型的无监督学习方法来训练它。我们在对称场景中使用随机几何形状分析了QoS违规概率，并应用基于模型的详尽搜索（ES）方法来找到最佳解决方案。仿真结果表明，在对称方案中，通过模型学习方法和基于模型的ES方法实现的QoS违规概率几乎相同。在更一般的情况下，级联的Regnn在具有不同尺度，网络拓扑，细胞密度和频率重复使用因子的无线网络中很好地概括了。在模型不匹配的情况下，它的表现优于基于模型的ES方法。
translated by 谷歌翻译
多用户多输入多输出（MU-MIMO）系统可用于满足5G和超越网络的高吞吐量要求。基站在上行链路MU-MIMO系统中为许多用户提供服务，从而导致多用户干扰（MUI）。设计用于处理强大MUI的高性能探测器具有挑战性。本文分析了最先进消息传递（MP）检测器中使用高MUI的后验分布近似引起的性能降解。我们开发一个基于图神经网络的框架来微调MP检测器的腔分布，从而改善MP检测器中的后验分布近似。然后，我们提出了两个基于神经网络的新型检测器，它们依赖于期望传播（EP）和贝叶斯平行干扰取消（BPIC），分别称为GEPNET和GPICNET探测器。 GEPNET检测器可最大化检测性能，而GPICNET检测器平衡了性能和复杂性。我们提供了置换量比属性的证明，即使在具有动态变化的用户数量的系统中，也只能对检测器进行一次培训。仿真结果表明，所提出的GEPNET检测器性能在各种配置中接近最大似然性能，而GPICNET检测器将BPIC检测器的多路复用增益加倍。
translated by 谷歌翻译